Экспериментальное устройство анализа и распознавания цвета

Принцип действия

Описанное в статье устройство было задумано и изготовлено в виде рабочего макета в исследовательских и экспериментальных целях, главным образом, для разработки и отладки достаточно надёжного алгоритма распознавания цвета. Необходимость в таком алгоритме возникла у автора при работе над несколькими проектами. Когда алгоритм был отлажен, появилась мысль оформить его описание в виде журнальной статьи, доработав интерфейс пользователя.

При распознавании цвета объекта устройство решает две последовательные подзадачи: измерение исходных параметров видимого спектра излучения объекта, определяющих его цвет, и преобразование этих параметров в набор абсолютных значений, характеризующих этот цвет. В качестве исходных параметров используются значения интенсивности излучения объекта в нескольких участках видимого спект­ра, а в качестве результата – цветовые координаты в одной из существующих систем цветности, а также относительная яркость излучения объекта.

Основой устройства является оптико-электронный цифровой датчик цвета TCS3414CS [1], имеющий каналы измерения интенсивности излучения трёх основных цветов спектра оптического диапазона: красного (центральная длина волны 640 нм, полоса Dl½ = 17 нм), зелёного (центральная длина волны 524 нм, полоса Dl½ = 47 нм) и синего (центральная длина волны 470 нм, полоса Dl½ = 35 нм). Цветовые каналы содержат группы фотодиодов, снабжённых соответствующими светофильтрами. Кроме цветовых также имеется так называемый суммарный канал, содержащий группу фотодиодов для измерения суммарной интенсивности излучения во всём видимом диапазоне (без светофильтров). Сигналы от групп фотодиодов каждого канала оцифровываются с помощью встроенных модулей АЦП. Результаты преобразования в виде последовательных 16-разрядных слов данных поступают во внешнее устройство. Благодаря возможности программного задания коэффициента усиления аналоговых сигналов на входах АЦП и выбора времени преобразования, динамический диапазон устройства по входу составляет (1:1000000) [1]. Функциональная схема датчика TCS3414CS изображена на рисунке 1.

На рисунке 2 приведена частотная характеристика датчика TCS3414CS, представляющая собой зависимость нормированных откликов (выходных сигналов) датчика для всех четырёх каналов (красного – Red, зелёного – Green, синего – Blue и суммарного – Clear) от длины волны. Нормирование откликов произведено по значению на выходе суммарного канала, соответствующему длине волны 655 нм (100%).

Датчик цвета TCS3414CS используется в составе промышленного модуля – сборки I2C Color Sensor (SEN60256P) [2], поддерживающего стандарт конструктива Grove и содержащего, помимо самого датчика, внешний светодиод для активной подсветки исследуемых объектов, цепи формирования сигналов последовательной шины I²C, используемой для передачи команд и данных, а также разъём питания и подключения по шине I²C к внешним устройствам. Внешний вид модуля I2C Color Sensor показан на рисунке 3. Функциональная схема всего устройства приведена на рисунке 4.

Макет состоит из центрального контроллера, который в качестве ведущего (Master) устройства осуществляет обмен командами и данными по шине I²C с двумя ведомыми (Slave) устройствами: модулем I2C Color Sensor и микросхемой памяти I2C ЭСППЗУ, в которой хранятся наборы параметров тех цветов, которые может распознавать устройство. Помимо этого, к центральному контроллеру подключены органы управления и индикации: кнопки, ЖКИ, светодиоды, усилитель звукового сигнала с излучателем, «озвучивающим» нажатия на кнопки. Последние два узла не являются обязательными, а лишь дополняют пользовательский интерфейс устройства. Контроллер реализован на базе встраиваемого микроконтроллера (МК), выполняющего управляющую программу.

Измерительный тракт работает следующим образом. Модуль I2C Color Sensor по командам контроллера осуществляет циклическое измерение цветовых параметров поверхности исследуемого объекта одновременно во всех каналах. При этом используется его собственная активная подсветка объекта – постоянно включённый белый светодиод. По запросам МК модуль передаёт по шине I²C результаты измерений в виде пакетов из четырёх 16-разрядных слов, каждое из которых соответствует интенсивности светового потока в своём канале: R (Red), G (Green), B (Blue) и C (Clear). Для минимизации погрешности измерений в устройстве реализовано программное усреднение результатов в каждом канале по выборке, состоящей из нескольких десятков циклов измерений. Представленные в цветовой системе RGB усреднённые результаты управляющая программа МК преобразует в другую цветовую систему – XYZ, стандартизованную международной комиссией по освещению CIE (www.cie.co.at). Для преобразования используются формулы (1) – (3), взятые из открытого источника [2]:

Численные коэффициенты в этих формулах, очевидно, учитывают особенности частотных характеристик каналов датчика TCS3414CS, а также, возможно, спектр излучения светодиода активной подсветки модуля I2C Color Sensor. Затем из полученных значений X, Y, Z, используя приведённые ниже формулы (4) и (5), программа вычисляет координаты цвета (x, y), однозначно характеризующие цвет исследуемого объекта.

Координаты цвета (x, y) определяют положение цвета объекта на так называемой плоской диаграмме цветности CIExy, показанной на рисунке 5.

При различных значениях усиления датчика, расстояния между датчиком и исследуемой поверхностью, интенсивности подсветки, измеренные датчиком значения R, G, B для одного и того же объекта будут разными, однако вычисленные в результате координаты цвета (x, y) останутся практически неизменными, если спектральный состав излучения подсветки также не изменяется.

Алгоритм распознавания цвета предполагает предварительную пользовательскую калибровку измерителя для каждого i-го образца, подлежащего распознаванию. Для этого образца в устройстве измеряются параметры R_i, G_i, B_i, затем производится вычисление величин X_i, Y_i, Z_i и вычисление цветовых координат (x_i, y_i). Значения последних округляются до заданного порога точности и записываются в ЭСППЗУ, формируя набор данных с некоторым порядковым номером, известным управляющей программе. При распознавании цвета у исследуемого образца в таком же порядке производятся измерения, вычисляются координаты (x′_i, y′_i), которые также округляются и последовательно сравниваются со всеми хранящимися в ЭСППЗУ наборами данных до фиксации совпадений с точностью до констант dx и dy. Решение о совпадении цвета принимается, если при сравнении выполняются одновременно два условия:

Результатом найденного совпадения является порядковый номер набора данных в ЭСППЗУ, соответствующий ранее откалиброванному цвету.

Конкретные числовые значения dx и dy в управляющей программе задаются для достижения требуемого баланса между вероятностью ложного распознавания неоткалиброванного цвета и вероятностью ложного нераспознавания откалиброванного цвета с учётом погрешности измерений.

Необходимо отметить, что одних координат цвета (x, y) недостаточно для однозначной идентификации цвета объекта. Приведённые выше формулы не учитывают такой параметр цвета, как яркость. Без учёта яркости различные цветá, иногда противоположные для человеческого глаза, на диаграмме цветности (x, y) могут иметь весьма близкие координаты. В результате алгоритм, различающий цветá только по значениям (x, y), во многих случаях будет давать ошибки распознавания.

С целью усовершенствования алгоритма, реализованного согласно формулам (1) – (5) (версия управляющей программы 1.0), в него была добавлена ещё одна ветвь сравнения. Выходное значение АЦП в суммарном канале Clear датчика было условно сопоставлено яркости исследуемого объекта. В качестве базового цвета, относительно яркости которого оценивается яркость всех остальных, используется цвет с максимальной яркостью. Такой цвет находится опытным путём при сравнении значений результатов АЦП в канале Clear вручную для всех калибруемых цветов, подлежащих последующему распознаванию. Из используемого набора образцов максимальное значение яркости было зафиксировано у образца белого цвета. Таким образом, для усовершенствованного алгоритма, помимо координат (x_i, y_i), в ходе пользовательской калибровки устройством сначала измеряется и записывается в ЭСППЗУ значение результата АЦП в канале Clear для белого цвета C_бел. Далее для каждого последующего калиб­руемого цвета также измеряется значение результата АЦП С_i в канале Clear, а затем вычисляется и записывается в ЭСППЗУ отношение этого значения к С_бел, которое всегда меньше единицы:

При распознавании цвета исследуемого объекта измеренное для него значение результата АЦП C′_i в канале Clear последовательно сравнивается с произведением (c_i × C_бел) для всех хранимых в ЭСППЗУ значений c_i до фиксации совпадения с точностью до dC_i. То есть решение о совпадении в этой ветви алгоритма принимается, если выполняется условие:

Для белого цвета решение о совпадении принимается, если выполняется условие:

где

а w – константа, задаваемая для достижения требуемого баланса между вероятностью ложного распознавания неоткалиброванной яркости и вероятностью ложного нераспознавания откалиброванной яркости, с учётом погрешности измерений. Какую именно формулу – (9) или (10) – использовать для сравнения, управляющая программа решает в зависимости от порядкового номера набора параметров в ЭСППЗУ, поскольку в программе жёстко задано, что белому цвету сопоставляется первый по порядку размещения в памяти набор параметров (нулевой по номеру), а прочим калиб­руемым цветам – все остальные.

Преимущество предлагаемого способа хранения информации о яркости по сравнению с запоминанием в ЭСППЗУ самих значений C_i (версия управляющей программы 2.0) состоит в том, что при изменении условий измерения и распознавания (коэффициента усиления датчика, расстояния от датчика до объектов, интенсивности подсветки и тому подобное) нет необходимости обновлять содержимое всего массива данных обо всех цветах в ЭСППЗУ. Достаточно обновить значение C_бел.

Таким образом, итоговое решение о совпадении цвета исследуемого образца с одним из ранее откалиброванных цветов принимается управляющей программой (версия 3.0), если для некоторого набора данных из ЭСППЗУ одновременно выполняются условия (6), (7), (9) или (6), (7), (10).

Принципиальная схема и конструкция устройства

Для аппаратной реализации рабочего макета устройства в качестве цент­рального контроллера был использован МК типа LPC1768 [3, 4] в составе отладочной (демонстрационной) платы MCB1760 производства Keil Software [5]. На этой плате, помимо МК и необходимой для его работы обвязки, также имеется большинство показанных на схеме (см. рис. 4) функциональных узлов: линейка светодиодов, кнопки и кнопочный манипулятор «джойстик», разъём для программирования и отладки МК (JTAG), цветной графический ЖКИ, динамик с усилителем звукового сигнала. Модуль датчика цвета I2C Color Sensor и микросхема I2C ЭСППЗУ подключаются к МК платы MCB1760 по шине I²C, линии которой SDA0 и SCL0 выведены на контакты разъёмов платы. Принципиальная схема всего устройства показана на рисунке 6.

Собрать макет можно и без платы MCB1760, используя только микроконтроллер LPC1768FBD100. К фрагменту принципиальной схемы MCB1760, содержащему все необходимые и доста­точные для функционирования устройства элементы, цепи и соединения (обведён на рисунке 6 красной пунктирной линией) добавлены датчик I2C Color Sensor (DA1), микросхема I2C ЭСППЗУ (DD2) и стабилизатор +3,3 В (DA2) для их питания. Питание датчика и ЭСППЗУ организовано от отдельного стабилизатора, поскольку выход встроенного стабилизатора +3,3 В платы MCB1760 (DA3) не выведен на контакты её разъёмов. Хотя в датчике I2C Color Sensor на шине имеются свои подтягивающие резисторы сопротивлением 10 кОм, практика работы с устройством показала, что при задающей частоте 400 кГц шина I²C без дополнительных внешних резисторов R1, R2 работает неустойчиво.

Если плата MCB1760 не используется, можно осуществлять питание всех узлов только от одного стабилизатора +3,3 В, а также исключить драйвер светодиодов DD3 (в этом случае необходимо использовать резисторы R19–R26 сопротивлением не менее 860 Ом). Разъём X3 JTAG, предназначенный для загрузки и отладки управляющей программы МК, – стандартный, 20-контактный. Каждый из конденсаторов C16–C21 должен располагаться в непосредственной близости от соответствующего вывода питания МК DD1. Светодиоды HL1-HL9 – любые мало­габаритные, для поверхностного монтажа, рассчитанные на рабочий ток 5–10 мА. Динамическая головка BA1 – любая малогабаритная. Можно обойтись без звукового усилителя DA4, подключив к выходу P0.26 (вывод 6 DD1) пьезоизлучатель.

Полная принципиальная схема отладочной платы MCB1760 в виде pdf-файла доступна на сайте производителя. Нумерация элементов там другая. Внешний вид макета устройства с платой MCB1760 показан на рисунке 7.

Как можно видеть на рисунке, модуль датчика цвета I2C Color Sensor смонтирован на шасси макета в горизонтальном положении, светоприёмным окном вниз. К штатному светоограничительному тубусу модуля, внутри которого находятся датчик TCS3414CS и светодиод подсветки, снизу с минимальным зазором прикладывается поверхность исследуемого объекта, который фиксируется в таком положении находящимся под ним подпружинивающим плоским куском чёрной резины, согнутым под углом 180 градусов. Это сделано с целью минимизации попадания на датчик любых внешних засветок, которые могут изменить спектральный состав излучения подсветки.

Кнопки управления SB2–SB6, показанные на схеме как отдельные, на плате MCB1760 образуют 5-позиционный манипулятор «джойстик». Кнопка управления SB1 («Измерение») на плате MCB1760 обозначена как «INT0».

Управляющая программа

Управляющая программа МК обеспечивает обмен командами и данными с датчиком цвета I2C Color Sensor, обмен данными с I2C ЭСППЗУ, обработку принятых от датчика результатов измерений, вычисление набора конечных параметров, вывод его на ЖКИ, сравнение с наборами параметров, хранящихся в ЭСППЗУ, принятие решения по результатам этого сравнения, опрос кнопок управления, формирование звуковых сигналов, управление светодиодами и другие вспомогательные задачи.

После включения питания и инициализации процессорного ядра МК и используемых в данном приложении периферийных узлов МК (аппаратного модуля I2C0 и таймера системных сигналов времени SysTick) программа производит тестирование датчика цвета I2C Color Sensor путём записи и последующего чтения его командного регистра. Результат тестирования выводится на ЖКИ. Затем программа инициализирует датчик, задавая с помощью команд управления его основные настройки: режим выполнения АЦП, длительность цикла преобразования, коэффициент усиления входных сигналов. Записываемые в соответствующие регистры I2C Color Sensor значения сразу же считываются программой и выводятся на ЖКИ. Таким образом, пользователь может визуально контролировать исправность датчика и результат его инициализации. Выведенный на ЖКИ набор значений регистров I2C Color Sensor, соответствующий исправному датчику и успешному завершению инициализации, показан на рисунке 8. Значение регистра идентификатора (REG_ID) не принципиально, и у различных экземпляров датчика может отличаться от показанного на рисунке 8.

Обмен командами/данными МК с датчиком и ЭСППЗУ осуществляется в программе с помощью функции записи N байт в ведомое устройство wr_N_byte_I2C_Color() и функции чтения K байт из ведомого устройства rd_K_byte_I2C_Color(). Указанные функции инициируют процесс обмена по шине I²C, управляемый обработчиком прерываний I2C0MasterHandler() от аппаратного модуля I2C0 микроконтроллера. Согласно описанию датчика [1], считывание данных может осуществляться побайтно, пословно или блочно, то есть сразу всего массива данных. В нашем случае с помощью функции READ_I2C_Color_ADC_BLOCK_AVERAGE() реализуется блочное чтение.

После завершения инициализации датчика устройство переходит в ждущий режим, из которого доступно выполнение следующих пользовательских операций: однократное измерение цветовых характеристик и вычисление набора параметров исследуемого объекта с выдачей результатов на ЖКИ (по нажатию кнопки SB1 «Измерение»), сохранение набора вычисленных параметров в выбранной области ЭСППЗУ (по нажатию кнопки SB2 «Запись в EEPROM»), стирание всего содержимого ЭСППЗУ (по нажатию кнопки SB6 «Стирание EEPROM»), перемещение по ЭСППЗУ в сторону увеличения/уменьшения номеров областей хранения наборов параметров с выводом их содержимого на ЖКИ (по нажатию кнопок SB4/SB5 «Вправо/Влево по кольцу»), автоматический последовательный перебор содержимого ЭСППЗУ со сравнением с отображаемым на ЖКИ набором параметров на предмет нахождения совпадения для распознавания цвета исследуемого объекта и выдачи результатов на ЖКИ (по нажатию кнопки SB3 «Поиск в EEPROM»).

Для датчика I2C Color Sensor программно задан режим выполнения АЦП, при котором преобразования производятся непрерывно. При нажатии кнопки «Измерение» программа производит накопление и последующее усреднение по выборке из 50 результатов преобразований (размер выборки задаётся константой MAX_INTERVAL = 50) для каждого из каналов, а затем вычисляет значения x и y с использованием функции CONVERSION_I2C_Color_AVERAGE(). Усреднённые по выборке значения R, G, B, C (целые положительные числа, представленные в отсчётах АЦП в диапазоне от 0 до 65535), а также вычисленные значения x и y (дробные десятичные числа, меньшие единицы, округ­лённые до сотых) выводятся на ЖКИ.

При нажатии кнопки «Запись в EEPROM» полученный набор параметров записывается в I2C ЭСППЗУ. По умолчанию после сброса запись будет произведена в область ЭСППЗУ с номером 0. Чтобы записать данные в другие области, необходимо, используя кнопки «Вправо/Влево по кольцу», вручную задать нужный для записи номер. При этом на ЖКИ будут отображаться вместе с текущим номером области («Num Color =   ») также её содержимое – значения «x =   », «y =   », «c =   » («C =   »). Если вместо числовых значений x, y, c(C) справа от знака равенства стоят прочерки, значит, отображаемая область ЭСППЗУ свободна от данных и может быть использована для калибровки нового цвета.

Запись можно произвести и в занятую область, но при этом новые данные запишутся поверх старых. Как уже было сказано, в нулевую область ЭСППЗУ (Num Color = 0) сначала необходимо записать набор параметров для цвета с максимальной (базовой) яркостью – то есть белого. Если этого не сделать, то попытки записи в другие области ЭСППЗУ приведут к выводу на ЖКИ сообщения об отсутствии базовой яркости «NO White», и запись не состоится.

Всего для записи доступно 50 областей, то есть устройство может распознавать до 50 цветов (количество задаёт константа MAX_num_Color = 50). При необходимости количество цветов может быть увеличено до предела, ограниченного только объёмом ЭСППЗУ. Область данных, соответствующая одному цвету, занимает в ЭСППЗУ восемь байтов. В первом байте содержится признак заполнения области данными: если программа считывает оттуда константу POLON = ′A′, то считает область заполненной, в противном случае – пустой. При распознавании цвета в сравнении участвуют только заполненные области. Второй байт не используется (зарезервирован) у всех областей, кроме нулевой. В нулевой области этот байт содержит признак того, что была произведена калибровка цвета с базовой яркостью – константу KALIBR = ′E′. Третий и четвёртый байты используются для хранения значения x, пятый и шестой – для хранения y, седьмой и восьмой – для хранения C (для нулевой области) и для хранения c (для прочих областей). Значения x, y, c обрабатываются программой как вещественные числа (Float), но для экономии памяти в ЭСППЗУ записываются как целые (Int), получаемые из вещественных путём умножения на 100 и преобразования типа числа.

При нажатии кнопки «Стирание EEPROM» все области ЭСППЗУ, отведённые для хранения данных, заполняются константами ′0′, а на ЖКИ выводится сообщение «Clear I2C Memory». Чтобы исключить случайное стирание ЭСППЗУ, время реакции программы на нажатие этой кнопки (анти­дребезговый интервал) задано на порядок больше, чем у остальных, поэтому для запуска операции кнопку «Стирание EEPROM» необходимо удерживать нажатой не менее двух секунд.

При нажатии кнопки «Поиск в EEPROM» программа производит измерение цветовых характеристик и вычисление набора параметров исследуемого объекта, аналогично нажатию кнопки «Измерение», но без вывода результатов на ЖКИ. Затем производится последовательный перебор содержимого ЭСППЗУ со сравнением набора параметров из каждой заполненной области и результатов измерения на предмет нахождения совпадения, согласно условиям, описанным выше. При первом совпадении сравнение останавливается, и на ЖКИ выводится сообщение «Find OK», номер совпавшего набора параметров и их значения, считанные из ЭСППЗУ. При отсутствии совпадений в конце сравнения на ЖКИ выводится сообщение «Find NO OK». Указанную процедуру реализует функция Find_I2C_Memory(). В эту же функцию встроен программный блок, который в случае совпадения для любого из первых восьми номеров кратковременно зажигает соответствующий ему светодиод HL2–HL9.

Исходный текст управляющей программы версии 3.0 (и файл прошивки флэш-памяти МК) содержится в каталоге проекта I2C_Color, архив которого доступен для загрузки на сайте журнала (www.soel.ru). Проект был подготовлен и отлажен в интегрированной среде разработки IDE µVision4 V4.72 от Keil Software.

Программирование и отладка управляющей программы МК производились с помощью JTAG-адаптера-программатора ULINK-ME, подключаемого к разъёму JTAG МК отладочной платы и к ПК через порт USB.

Работа с устройством

После завершения сборки макета и отладки управляющей программы устройство было протестировано путём калибровки и последующего распознавания цветов множества реальных объектов. В качестве таковых использовались кусочки цветной бумаги из детского набора, цветные наклейки, фрагменты рекламных буклетов и тому подобное. При этом соблюдалось единственное требование к образцу: его цвет должен быть однородным во всей исследуемой (подсвечиваемой) области. Всего использовалось около двадцати объектов различных цветов, каждый из которых был пронумерован. Результаты калибровок приведены в таблице.

Исходя из информации, содержащейся в таблице, а также статистики достоверности распознавания, набранной в ходе тестирования, определились значения констант из приведённых выше формул. Значения констант dx и dy из формул (6) и (7) в программе заданы как DOL_SOWP_x = DOL_SOWP_y = 0,021. Значение константы w из формул (11), (12) задано равным 0,1, то есть совпадение по яркости фиксируется с точностью до 10% (PROZ_SOWP_C = 10).

При неизменном излучении подсветки устройство безошибочно и стабильно распознает все откалиброванные цвета, выдавая по итогам сравнения номер соответствующего образца. Изменение коэффициента усиления входных сигналов датчика цвета I2C Color Sensor на качество распознавания не влияет. В этом случае требуется только перекалибровать и записать в ЭСППЗУ новое значение C_бел для белого цвета, поскольку значения результатов АЦП в каналах Red, Green, Blue и Clear для одних и тех же цветов существенно изменятся. Коэффициент усиления входных сигналов и прочие настройки I2C Color Sensor задаются в программе внутри функции I2C_Color_Init_IND_GLCD_Display().

Литература

1. TCS3414 Color Sensor With SYNC input for color sensing synchronization and in-package IR blocking filter (CS package only), www.ams.com/eng/Products/Light-Sensors/Color-Sensor/TCS3414.
2. www.seeedstudio.com/wiki/index.php?title=Twig_-_I2C_Color_Sensor_v0.9b.
3. www.nxp.com/products/microcontrollers/cortex_m3/lpc1700/LPC1768FBD100.html.
4. LPC1768. www.keil.com/dd/chip/4868.htm.
5. MCB1700 Evaluation Board and Starter Kit. www.keil.com/mcb1700.